Joint Agent Memory and Exploration Learning via Novelty Signals
通过新颖信号联合学习智能体记忆与探索
🧭 智能体记忆与探索的联合学习 ★ 深度解读
Tsinghua University · Sun Yat-sen University · Baidu Inc. · Tongji University · Peking University
利用代码覆盖率等持久新颖信号，联合训练智能体潜在记忆与探索策略，显著提升探索效率并减少 token 消耗
📌 工作参考价值（4 点）
- 无监督的记忆训练信号：在 GUI 或可嵌入环境中，利用代码覆盖率、新状态发现等持久新奇信号作为内在奖励，为记忆模块提供无需人工标注的训练目标。这可以迁移到电商 App 自动化测试、Agent 探索冷启动等场景，用环境固有指标替代昂贵的人工反馈。
- 轻量级历史压缩：使用一个冻结的视觉语言模型将每一步（观测，动作）压缩为一个向量 token，大幅减少长对话的 token 开销。在电商客服 Agent 或推荐对话系统中，可以类似地压缩多轮交互历史，避免上下文窗口膨胀，同时保持关键信息。
- 自然课程式训练：随着会话进行，奖励自然变得稀疏，迫使策略学习更深层的探索行为。在构建 Agent 的训练环境时，可以设计类似“先易后难”的奖励衰减机制，无需手动设计课程。
- 联合训练记忆与策略：将记忆压缩和对齐与策略梯度联合优化，避免解耦带来的次优解。对于需要记忆的推荐 Agent 或多智能体协作场景，可考虑将记忆模块的学习与任务目标直接对齐，而非单独训练或使用静态规则。